Accurate video object tracking using a region-based particle filter

Usually, in particle filters applied to video tracking, a simple geometrical shape, typically an ellipse, is used in order to bound the object being tracked. Although it is a good tracker, it tends to a bad object representation, as most of the world objects are not simple geometrical shapes. A better way to represent the object is by using a region-based approach, such as the Region Based Particle Filter (RBPF). This method exploits a hierarchical region based representation associated with images to tackle both problems at the same time: tracking and video object segmentation. By means of RBPF the object segmentation is resolved with high accuracy, but new problems arise. The object representation is now based on image partitions instead of pixels. This means that the amount of possible combinations has now decreased, which is computationally good, but an error on the regions taken for the object representation leads to a higher estimation error than methods working at pixel level. On the other hand, if the level of regions detail in the partition is high, the estimation of the object turns to be very noisy, making it hard to accurately propagate the object segmentation. In this thesis we present new tools to the existing RBPF. These tools are focused on increasing the RBPF performance by means of guiding the particles towards a good solution while maintaining a particle filter approach. The concept of hierarchical flow is presented and exploited, a Bayesian estimation is used in order to assign probabilities of being object or background to each region, and the reduction, in an intelligent way, of the solution space , to increase the RBPF robustness while reducing computational effort. Also changes on the already proposed co-clustering in the RBPF approach are proposed. Finally, we present results on the recently presented DAVIS database. This database comprises 50 High Definition video sequences representing several challenging situations. By using this dataset, we compare the RBPF with other state-ofthe- art methods

Rudiments of spatial audio synthesis

For many application areas the binaural synthesis has become a field of interest. In this paper, we present the basics of bin- aural synthesis for 2 channels -left and right- providing exam- ples and figures, using different approaches: from just delay- ing both signals to the usage of HRIR (Head-Related Impulse Response) and HRTF (Head-Related Transfer Function), and a way to relate spatial information with temporal information of an audio signalPreprin

RVOS: end-to-end recurrent network for video object segmentation

Multiple object video object segmentation is a challenging task, specially for the zero-shot case, when no object mask is given at the initial frame and the model has to find the objects to be segmented along the sequence. In our work, we propose a Recurrent network for multiple object Video Object Segmentation (RVOS) that is fully end-to-end trainable. Our model incorporates recurrence on two different domains: (i) the spatial, which allows to discover the different object instances within a frame, and (ii) the temporal, which allows to keep the coherence of the segmented objects along time. We train RVOS for zero-shot video object segmentation and are the first ones to report quantitative results for DAVIS-2017 and YouTube-VOS benchmarks. Further, we adapt RVOS for one-shot video object segmentation by using the masks obtained in previous time steps as inputs to be processed by the recurrent module. Our model reaches comparable results to state-of-the-art techniques in YouTube-VOS benchmark and outperforms all previous video object segmentation methods not using online learning in the DAVIS-2017 benchmark. Moreover, our model achieves faster inference runtimes than previous methods, reaching 44ms/frame on a P100 GPU.Peer ReviewedPostprint (published version

RVOS: end-to-end recurrent network for video object segmentation

Multiple object video object segmentation is a challenging task, specially for the zero-shot case, when no object mask is given at the initial frame and the model has to find the objects to be segmented along the sequence. In our work, we propose a Recurrent network for multiple object Video Object Segmentation (RVOS) that is fully end-to-end trainable. Our model incorporates recurrence on two different domains: (i) the spatial, which allows to discover the different object instances within a frame, and (ii) the temporal, which allows to keep the coherence of the segmented objects along time. We train RVOS for zero-shot video object segmentation and are the first ones to report quantitative results for DAVIS-2017 and YouTube-VOS benchmarks. Further, we adapt RVOS for one-shot video object segmentation by using the masks obtained in previous time steps as inputs to be processed by the recurrent module. Our model reaches comparable results to state-of-the-art techniques in YouTube-VOS benchmark and outperforms all previous video object segmentation methods not using online learning in the DAVIS-2017 benchmark. Moreover, our model achieves faster inference runtimes than previous methods, reaching 44ms/frame on a P100 GPU.This research was supported by the Spanish Ministry ofEconomy and Competitiveness and the European RegionalDevelopment Fund (TIN2015-66951-C2-2-R, TIN2015-65316-P & TEC2016-75976-R), the BSC-CNS SeveroOchoa SEV-2015-0493 and LaCaixa-Severo Ochoa Inter-national Doctoral Fellowship programs, the 2017 SGR 1414and the Industrial Doctorates 2017-DI-064 & 2017-DI-028from the Government of CataloniaPeer ReviewedPostprint (published version

Filtre de partícules basat en regions

[ANGLÈS] In this project the implementation of a video object tracking technique based on a particle filter that uses the partitions of the various frames in the video has been tackled. This is an extension of the standard particle filter tracker in which unions of regions of the image are used to generate particles. By doing so, the tracking of the object of interest through the video sequence is expected to be done in a more accurate and robust way. One of the main parts of this video object tracker is a co-clustering technique that allows having an initial estimation of the object in the current frame, relying on the instance of the same object in a previous frame. While developing the object tracker, we realized the importance of this co-clustering technique, not only in the context of the current video tracker but as a basic tool for several of the research projects in the image group. Therefore, we decided to concentrate on the implementation of a generic, versatile co-clustering technique instead of the simple version that was necessary for the tracking problem. This way, the main goal of this project consists on implementing the co-clustering method presented in an accurate way while presenting a low computation time. Moreover, the complete Region-based particle filter for tracking purposes is presented. Therefore, the aim of this Final Degree Project is, mainly, to give a guideline to future researchers who will use this algorithm; to help understand and apply the mentioned co-clustering for any project in need of this method.[CASTELLÀ] En éste proyecto se presenta la implementación de una técnica de seguimiento en video basada en un filtro de partículas que utiliza las particiones de varios fotogramas. Esto es una extensión del filtro de partículas estándar para seguimiento, dónde las uniones de la regiones de la imagen son utilizadas para generar las partículas. Mediante esto se espera que el seguimiento del objeto de interés a través de la secuencia de video sea realizado de una manera más precisa y robusta. Una de las partes principales de éste seguidor de objetos en video es la técnica de co-clustering, que permite tener una estimación inicial del objeto en el fotograma actual basándose en el objeto del fotograma anterior. Durante el desarrollo del seguidor de objetos nos percatamos de la importancia de esta técnica de co-clustering, no solo en el contexto del seguidor de video actual, sino como herramienta básica para numerosos proyectos de investigación en el grupo de imagen. De esta forma, decidimos concentrarnos en la implementación de una técnica de co-clustering genérica y versátil en vez de una versión simplificada necesaria para el problema de seguimiento. El objetivo principal de éste proyecto, por lo tanto, consiste en implementar el método de co-clustering presentado de una manera precisa y presentando un tiempo de computación reducido. Además, el propio “Region-based particle filter” para el propósito de seguimiento es presentado también. El objetivo de éste Proyecto Final de Carrera es, principalmente, dar una pauta a futuros investigadores que utilizarán éste algoritmo; para ayudar a entender y aplicar el mencionado co-clustering en qualquier proyecto que necesite de éste método.[CATALÀ] En aquest projecte es presenta la implementació d’una tècnica de seguiment en vídeo basada en un filtre de partícules que empra les particions de diversos fotogrames. Això és una extensió del filtre de partícules estàndard per seguiment, on les unions de les regions de la imatge són utilitzades per generar les partícules. Mitjançant això, s’espera que el seguiment de l’objecte d’interès a través de la seqüència de vídeo sigui realitzat d’una manera més acurada i robusta. Una de les parts principals d’aquest seguidor d’objectes en vídeo és la tècnica de co-clustering, que permet tenir una estimació inicial de l’objecte en el fotograma actual basant-se en l’objecte del fotograma anterior. Mentre desenvolupàvem el seguidor d’objectes ens vam adonar de la importància d’aquesta tècnica de co-clustering, no només en el context del seguidor per vídeo actual sinó, també, com a eina bàsica per nombrosos projectes de recerca en el grup d’imatge. D’aquesta manera, vam decidir concentrar-nos en la implementació d’una tècnica de co-clustering genèrica i versàtil en comptes d’una versió simplificada necessària pel problema del seguiment. L’objectiu principal d’aquest projecte, per tant, consisteix en implementar el mètode de co-clustering presentat d’una manera acurada, tot presentant un temps de computació reduït. A més a més el propi “Region-based particle filter” pel propòsit de seguiment és presentat també. L’objectiu d’aquest Projecte Final de Carrera és, principalment, donar una pauta a futurs investigadors que faran servir aquest algorisme; per ajudar a entendre i aplicar el mencionat co-clustering per qualsevol projecte que necessiti d’aquest mètode

Sports broadcasting and multiple object tracking with deep learning methods

Tesi amb diferents seccions xifrades per raons de confidencialitatSince less than a decade ago, deep learning techniques started to dominate many different fields, revolutionizing the possibilities of artificial intelligence. Seeing their potential, industrial sectors started to invest in applying such technologies as key components of the company strategy. This thesis has been developed in an industrial context, in AutomaticTV. The main focus along this period has been the transfer of knowledge and know-how between academia and industry, development of tools to exploit this knowledge, the exploration of new techniques for future challenges, and, from an academic research perspective, contributions to the multiple object tracking problem. The first part of the thesis is devoted to the introduction of deep learning technologies to AutomaticTV, a company dedicated to automatic sports analysis and broadcasting, and the development of tools and tasks that surround the application. The second part of this thesis introduces the contributions to the multiple object tracking challenge. We present TrajE, a trajectory estimator based on mixture density networks and beam search, used to boost the performance of existing multiple object trackers, and introduce an occlusion reconstruction step using the estimated trajectory information. By adding TrajE to an existing multiple object tracker, we boost its performance by 6.3, 1.8 points in MOTA and IDF1 scores respectively, becoming the new state of the art in the MOTChallenge dataset.Des de fa menys de deu anys, les tècniques basades en “deep learning” van començar a dominar molts camps diferents, revolucionant les possibilitats de la intel·ligència artificial. Veient el seu potencial, l'industria va començar a invertir per aplicar aquestes tecnologies com a components clau per l’estratègia de l’empresa. Aquesta tesi ha estat desenvolupada en el context d’AutomaticTV. Durant aquest període, el focus principal ha estat la transferència de coneixement entre l’acadèmia i la indústria, el desenvolupament d’eines per explotar aquest coneixement, l’exploració de noves tècniques per futurs reptes i, des d’una perspectiva de recerca acadèmica, contribucions al problema del seguiment de múltiples objectes “multiple object tracking”. La primera part d’aquesta tesi es centra en la introducció de tecnologies basades en deep learning a AutomaticTV, una empresa dedicada a l’automatització de l’anàlisi i retransmissió d’esports, i al desenvolupament de les eines que ho envolten. La segona part d’aquesta tesi presenta les contribucions fetes al repte del seguiment de múltiples objectes. Presentem TrajE, un estimador de trajectòries basat en “mixture density networks” i “beam search”, utilitzat per millorar les prestacions de tècniques existents pel seguiment de múltiples objectes, i introduïm un pas de reconstrucció d’oclusions fent servir la trajectòria estimada. Afegint TrajE a un “multiple object tracker”, CenterTrack, fem que les seves prestacions millorin un 6.3 i 1.8 punts en puntuacions de MOTA i IDF1 respectivament, esdevinguent el nou estat de la qüestió al dataset de MOTChallenge.Postprint (published version

Filtre de partícules basat en regions

[ANGLÈS] In this project the implementation of a video object tracking technique based on a particle filter that uses the partitions of the various frames in the video has been tackled. This is an extension of the standard particle filter tracker in which unions of regions of the image are used to generate particles. By doing so, the tracking of the object of interest through the video sequence is expected to be done in a more accurate and robust way. One of the main parts of this video object tracker is a co-clustering technique that allows having an initial estimation of the object in the current frame, relying on the instance of the same object in a previous frame. While developing the object tracker, we realized the importance of this co-clustering technique, not only in the context of the current video tracker but as a basic tool for several of the research projects in the image group. Therefore, we decided to concentrate on the implementation of a generic, versatile co-clustering technique instead of the simple version that was necessary for the tracking problem. This way, the main goal of this project consists on implementing the co-clustering method presented in an accurate way while presenting a low computation time. Moreover, the complete Region-based particle filter for tracking purposes is presented. Therefore, the aim of this Final Degree Project is, mainly, to give a guideline to future researchers who will use this algorithm; to help understand and apply the mentioned co-clustering for any project in need of this method.[CASTELLÀ] En éste proyecto se presenta la implementación de una técnica de seguimiento en video basada en un filtro de partículas que utiliza las particiones de varios fotogramas. Esto es una extensión del filtro de partículas estándar para seguimiento, dónde las uniones de la regiones de la imagen son utilizadas para generar las partículas. Mediante esto se espera que el seguimiento del objeto de interés a través de la secuencia de video sea realizado de una manera más precisa y robusta. Una de las partes principales de éste seguidor de objetos en video es la técnica de co-clustering, que permite tener una estimación inicial del objeto en el fotograma actual basándose en el objeto del fotograma anterior. Durante el desarrollo del seguidor de objetos nos percatamos de la importancia de esta técnica de co-clustering, no solo en el contexto del seguidor de video actual, sino como herramienta básica para numerosos proyectos de investigación en el grupo de imagen. De esta forma, decidimos concentrarnos en la implementación de una técnica de co-clustering genérica y versátil en vez de una versión simplificada necesaria para el problema de seguimiento. El objetivo principal de éste proyecto, por lo tanto, consiste en implementar el método de co-clustering presentado de una manera precisa y presentando un tiempo de computación reducido. Además, el propio “Region-based particle filter” para el propósito de seguimiento es presentado también. El objetivo de éste Proyecto Final de Carrera es, principalmente, dar una pauta a futuros investigadores que utilizarán éste algoritmo; para ayudar a entender y aplicar el mencionado co-clustering en qualquier proyecto que necesite de éste método.[CATALÀ] En aquest projecte es presenta la implementació d’una tècnica de seguiment en vídeo basada en un filtre de partícules que empra les particions de diversos fotogrames. Això és una extensió del filtre de partícules estàndard per seguiment, on les unions de les regions de la imatge són utilitzades per generar les partícules. Mitjançant això, s’espera que el seguiment de l’objecte d’interès a través de la seqüència de vídeo sigui realitzat d’una manera més acurada i robusta. Una de les parts principals d’aquest seguidor d’objectes en vídeo és la tècnica de co-clustering, que permet tenir una estimació inicial de l’objecte en el fotograma actual basant-se en l’objecte del fotograma anterior. Mentre desenvolupàvem el seguidor d’objectes ens vam adonar de la importància d’aquesta tècnica de co-clustering, no només en el context del seguidor per vídeo actual sinó, també, com a eina bàsica per nombrosos projectes de recerca en el grup d’imatge. D’aquesta manera, vam decidir concentrar-nos en la implementació d’una tècnica de co-clustering genèrica i versàtil en comptes d’una versió simplificada necessària pel problema del seguiment. L’objectiu principal d’aquest projecte, per tant, consisteix en implementar el mètode de co-clustering presentat d’una manera acurada, tot presentant un temps de computació reduït. A més a més el propi “Region-based particle filter” pel propòsit de seguiment és presentat també. L’objectiu d’aquest Projecte Final de Carrera és, principalment, donar una pauta a futurs investigadors que faran servir aquest algorisme; per ajudar a entendre i aplicar el mencionat co-clustering per qualsevol projecte que necessiti d’aquest mètode

Filtre de partícules basat en regions

[ANGLÈS] In this project the implementation of a video object tracking technique based on a particle filter that uses the partitions of the various frames in the video has been tackled. This is an extension of the standard particle filter tracker in which unions of regions of the image are used to generate particles. By doing so, the tracking of the object of interest through the video sequence is expected to be done in a more accurate and robust way. One of the main parts of this video object tracker is a co-clustering technique that allows having an initial estimation of the object in the current frame, relying on the instance of the same object in a previous frame. While developing the object tracker, we realized the importance of this co-clustering technique, not only in the context of the current video tracker but as a basic tool for several of the research projects in the image group. Therefore, we decided to concentrate on the implementation of a generic, versatile co-clustering technique instead of the simple version that was necessary for the tracking problem. This way, the main goal of this project consists on implementing the co-clustering method presented in an accurate way while presenting a low computation time. Moreover, the complete Region-based particle filter for tracking purposes is presented. Therefore, the aim of this Final Degree Project is, mainly, to give a guideline to future researchers who will use this algorithm; to help understand and apply the mentioned co-clustering for any project in need of this method.[CASTELLÀ] En éste proyecto se presenta la implementación de una técnica de seguimiento en video basada en un filtro de partículas que utiliza las particiones de varios fotogramas. Esto es una extensión del filtro de partículas estándar para seguimiento, dónde las uniones de la regiones de la imagen son utilizadas para generar las partículas. Mediante esto se espera que el seguimiento del objeto de interés a través de la secuencia de video sea realizado de una manera más precisa y robusta. Una de las partes principales de éste seguidor de objetos en video es la técnica de co-clustering, que permite tener una estimación inicial del objeto en el fotograma actual basándose en el objeto del fotograma anterior. Durante el desarrollo del seguidor de objetos nos percatamos de la importancia de esta técnica de co-clustering, no solo en el contexto del seguidor de video actual, sino como herramienta básica para numerosos proyectos de investigación en el grupo de imagen. De esta forma, decidimos concentrarnos en la implementación de una técnica de co-clustering genérica y versátil en vez de una versión simplificada necesaria para el problema de seguimiento. El objetivo principal de éste proyecto, por lo tanto, consiste en implementar el método de co-clustering presentado de una manera precisa y presentando un tiempo de computación reducido. Además, el propio “Region-based particle filter” para el propósito de seguimiento es presentado también. El objetivo de éste Proyecto Final de Carrera es, principalmente, dar una pauta a futuros investigadores que utilizarán éste algoritmo; para ayudar a entender y aplicar el mencionado co-clustering en qualquier proyecto que necesite de éste método.[CATALÀ] En aquest projecte es presenta la implementació d’una tècnica de seguiment en vídeo basada en un filtre de partícules que empra les particions de diversos fotogrames. Això és una extensió del filtre de partícules estàndard per seguiment, on les unions de les regions de la imatge són utilitzades per generar les partícules. Mitjançant això, s’espera que el seguiment de l’objecte d’interès a través de la seqüència de vídeo sigui realitzat d’una manera més acurada i robusta. Una de les parts principals d’aquest seguidor d’objectes en vídeo és la tècnica de co-clustering, que permet tenir una estimació inicial de l’objecte en el fotograma actual basant-se en l’objecte del fotograma anterior. Mentre desenvolupàvem el seguidor d’objectes ens vam adonar de la importància d’aquesta tècnica de co-clustering, no només en el context del seguidor per vídeo actual sinó, també, com a eina bàsica per nombrosos projectes de recerca en el grup d’imatge. D’aquesta manera, vam decidir concentrar-nos en la implementació d’una tècnica de co-clustering genèrica i versàtil en comptes d’una versió simplificada necessària pel problema del seguiment. L’objectiu principal d’aquest projecte, per tant, consisteix en implementar el mètode de co-clustering presentat d’una manera acurada, tot presentant un temps de computació reduït. A més a més el propi “Region-based particle filter” pel propòsit de seguiment és presentat també. L’objectiu d’aquest Projecte Final de Carrera és, principalment, donar una pauta a futurs investigadors que faran servir aquest algorisme; per ajudar a entendre i aplicar el mencionat co-clustering per qualsevol projecte que necessiti d’aquest mètode

Rudiments of spatial audio synthesis

For many application areas the binaural synthesis has become a field of interest. In this paper, we present the basics of bin- aural synthesis for 2 channels -left and right- providing exam- ples and figures, using different approaches: from just delay- ing both signals to the usage of HRIR (Head-Related Impulse Response) and HRTF (Head-Related Transfer Function), and a way to relate spatial information with temporal information of an audio signa

Rudiments of spatial audio synthesis

For many application areas the binaural synthesis has become a field of interest. In this paper, we present the basics of bin- aural synthesis for 2 channels -left and right- providing exam- ples and figures, using different approaches: from just delay- ing both signals to the usage of HRIR (Head-Related Impulse Response) and HRTF (Head-Related Transfer Function), and a way to relate spatial information with temporal information of an audio signa